On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference
LoRA空间中低损失谷的构建及其对贝叶斯推断的意义
🧭 LLM微调 · LoRA贝叶斯推断
HTWG Konstanz · LMU Munich · Munich Center for Machine Learning (MCML) · TIDIT.ch
提出分段贝塞尔曲线连接独立LoRA最优解，形成连续低损失谷，提升不确定性估计和功能多样性
📌 工作参考价值（4 点）
- 低成本贝叶斯集成：利用分段贝塞尔曲线在LoRA空间内连接多个独立微调点，只需少量曲线参数即可实现参数空间遍历，为推荐模型的多样性预测提供比传统deep ensemble更轻量的方案。
- 不确定性校准：通过沿低损失谷进行参数扰动（结合flat-minima扰动）生成多样化预测分布，可直接用于电商搜索/推荐场景的置信度估计，缓解过度自信。
- 功能多样性正则化：引入Jensen-Shannon散度正则项鼓励不同曲线点的预测差异，可迁移至多任务推荐模型训练，促进多专家或子网络的功能多样化，提升集成互补性。
- 连续模式连接优于离散集成：实验表明线性插值遇损失障碍，而曲线版连续路径有效，提示在LoRA微调推荐大模型时，应避免简单参数平均或独立集成，可采用路径化方法获取更平滑的不确定性面。